Walau bagaimanapun, pada tahun 1996, atas arahan Premier New South Wales ketika itu, Bob Carr, hartanah itu tidak lagi digunakan sebagai tempat kediaman, dan pejabat Gabenor telah dipindahkan ke Bangunan Pejabat Setiausaha Kolonial bersejarah berdekatan, di 121 Macquarie Street.[8] Pada 16 Januari 1996 Carr mengumumkan bahawa Gabenor berikut, Gordon Samuels, tidak mahu tinggal atau bekerja di Rumah Kerajaan. Atas perubahan ini, Carr berkata "Pejabat Gabenor harus kurang dikaitkan dengan kegemilangan dan majlis, kurang dibebankan oleh protokol yang sudah ketinggalan zaman, lebih selaras dengan ciri-ciri rakyat".[9] Carr kemudian berseloroh bahawa keputusannya ialah "untuk Jack Lang",[10] merujuk kepada Premier bekas Kerajaan Buruh negeri yang telah ditolak oleh seorang Gabenor, Philip Game, pada tahun 1932 semasa krisis perlembagaan.

Gabenor negeri paling lama berkhidmat, Sir Roden Cutler, juga dilaporkan sebagai berkata: "Ia adalah satu desakan politik untuk memberi laluan New South Wales menjadi sebuah republik. Jika mereka membuat keputusan untuk tidak mempunyai seorang Gabenor dan orang ramai bersetuju dengannya, dan Parlimen bersetuju, dan Ratu bersetuju kepadanya, iaitu perkara yang berbeza, tetapi selagi Gabenor masih ada, anda perlu memberikannya sedikit hormat dan kredibiliti, kerana beliau ialah tuan rumah bagi seluruh New South Wales. Untuk kehidupan saya, saya tidak dapat memahami logik yang mempunyai Gabenor separuh masa dan tidak tinggal di Rumah Kerajaan. Ia adalah menjatuhkan maruah jawatan itu dan Gabenor itu sendiri."[9]

Langkah ini menghasilkan kontroversi, kerana penjimatan kos yang diisytiharkan lebih daripada $2 juta tidak pernah menjadi kenyataan. Ketua Audit mendapati bahawa ia menelan kos $ 600,000 lebih daripada biasa untuk mengekalkan bangunan tanpa Gabenor; dan kehadiran awam menurun (Gabenor menetap telah mengekalkan akses awam semasa tempoh mereka).[11] Ini membawa kumpulan Orang Australia untuk Raja Berperlembagaan untuk membuat bantahan, menyebabkan salah satu daripada perarakan terbesar dalam sejarah Sydney: orang ramai daripada 15,000 orang membantah di luar Bangunan Parlimen, Sydney, menyekat Macquarie Street.[12] Pada hari sebelum Gordon Samuels mengangkat sumpah, petisyen yang mengandungi 55,000 tandatangan telah diserahkan, menyeru Premier mempertimbang semula.[13] Semasa hiatus gabenor menetap, Rumah Kerajaan telah secara konsisten digunakan untuk wakil diraja dan kekal ruang penerimaan rasmi negara, termasuk sebagai tempat mesyuarat utama APEC Australia 2007 pada bulan September 2007, di mana pemimpin-pemimpin politik daripada 21 negara anggota Kerjasama Ekonomi Asia-Pasifik bertemu.